Split Criteria | Machine Learning | Pusan National University

G = Σ p̂ₖ(1 − p̂ₖ)지니 지수. 두 범주면 2p̂(1 − p̂)이고 한 범주만 있으면 0, 반반이면 최댓값 0.5다.

D = −Σ p̂ₖ ln p̂ₖ엔트로피. 자연로그를 쓰고 0 ln 0 = 0으로 둔다. 반반이면 최댓값 ln 2 ≈ 0.693이다.

ΔG = G부모 − [(n_L/n)G_L + (n_R/n)G_R]자식 구역의 불순도를 관측 수로 가중해 평균한 뒤 부모에서 뺀다.

분할 기준과 평가지표criterion은 분할을 고르는 기준이고, 모델 비교용 평가지표와 같을 필요는 없다.

두 척도는 한 범주만 있으면 0이고 반반 섞이면 가장 크다

한 구역에서 범주 1의 비율 p̂를 바꾸면 두 곡선 위의 점, 다수 범주로 예측했을 때의 정확도가 함께 바뀐다.

범주 1의 비율 p̂ 0.90

가로축은 범주 1의 비율 p̂, 세로축은 불순도다. 파란 실선이 엔트로피, 초록 점선이 지니 지수이고 세로 점선 위의 두 점이 현재 p̂의 값이다. 오른쪽 막대는 그 구역의 범주 구성이다.

두 범주가 50개씩 섞인 구역을 둘로 나눈다. 왼쪽 구역에 보낼 범주 1과 범주 0의 수를 바꾸면 나머지는 오른쪽으로 가고, 두 자식 구역의 불순도와 감소량이 바뀐다.

왼쪽 구역의 범주 1 수 40

왼쪽 구역의 범주 0 수 10

막대 하나가 구역 하나이며 막대 길이는 관측 수에 비례한다. 초록 부분이 범주 1, 파란 부분이 범주 0이다. 막대 옆 수는 그 구역의 지니 지수와 엔트로피다.

범주 1과 범주 0이 400개씩인 구역의 두 분할 후보 A, B를 같은 자리에서 비교한다. 비교 기준을 바꾸면 막대의 값과 그 기준이 고르는 후보가 바뀐다.

비교 기준

왼쪽은 각 후보가 만든 두 구역의 구성이다. 초록이 범주 1, 파란색이 범주 0이다. 오른쪽 막대는 고른 기준으로 잰 값이며 값이 작을수록 좋고, 초록 막대가 그 기준에서 가장 작은 후보다.